Nhà thờ do ông bà Lê Phát Ðạt, tức Huyện Sỹ, hiến đất và xuất 1/7 gia tài để xây dựng,[1] thời giá lúc bấy giờ là khoảng trên 30 muôn (mười ngàn) đồng bạc Đông Dương. Khởi công xây dựng năm 1902 theo thiết kế của linh mục Bouttier[2], đến 1905 thì được khánh thành. Nhà thờ tọa lạc trên một khu đất cao và rộng hơn một mẫu, nằm ở góc đường Frère Louis (nay là đường Nguyễn Trãi) và Frère Guilleraut (nay là đường Tôn Thất Tùng).

Ban đầu nhà thờ có tên là Nhà thờ Chợ Đũi do thuộc họ đạo Chợ Đũi. Mặt khác, do Thánh Philípphê tông đồ là bổn mạng của Huyện Sỹ nên còn được gọi là Nhà thờ Thánh Philípphê. Tuy vậy, dân gian vẫn gọi là Nhà thờ Huyện Sỹ, và sau đó dần trở thành tên thông dụng của nhà thờ này (tất nhiên, đối tượng thờ phượng ở đây không phải là ông Huyện Sỹ).